AI视频生成 | AI 生成稳定视频工作流分享及效果展示

本文作者@周禹彤，未经同意，禁止转载搬运

AnimateDiff 使用稳定扩散模型将文字提示转化为视频，使用控制模块来影响稳定扩散模型。它通过各种视频短片进行训练。控制模块对图像生成过程进行调节，以生成一系列与其学习的视频片段相似的图像。与 ControlNet 一样，AnimateDiff 的控制模块可用于任何稳定扩散模型。目前仅支持 Stable Diffusion v1.5 模型。

1. 在SD WebUI中的使用方法：https://www.bilibili.com/read/cv27508320/

2. 在ComfyUI中的使用方法：https://www.bilibili.com/video/BV11m4y137AR/

在提示词编写上，使用动词可以驱动AnimateDiff产生动画，例如walking、running、dancing等，类似wind会对头发和树叶产生影响。

对于单人角色比较简单的动作表现非常好，也适合制作风景类动画，对于多人物及一些复杂的动画比如格斗、跑步会略差一些。

输入第一帧和结束帧的图像制作动画

 用Prompt Travel提示词游历语法，可以设置在不同的时间段使用不同的提示词产生不同的动画，适用于制作一些变形动画效果。

语法编写规则1：

帧数1：提示词1
帧数2：提示词2

以四季变换动画的提示词为例：
"0" :"spring day, cherryblossoms",
"25" :"summer day, vegetation",
"50" :"fall day, leaves blowing in the wind",
"75" :"winter, during a snowstorm, earmuffs"

语法编写规则2：

在提示词前后增加公共提示词

以模特换衣服动画的提示词为例：前部分控制模特容貌稳定，后部分让模特衣服变化
1 girl model,zend4y4,long hair,catwalking on the runway,stage lighting background,best
quality,masterpiece,hand painted textures,intricate details,realistic,
0: plaid_shirt,jeans,
16: plaid shirt,jeans,beret,
32: hooded track jacket,hot_pants,
48: white dress _shirt,buruma,
64: off-shoulder_dress,high_heel boots,

能够生成时间较长的视频，且过渡效果丝滑。

2D动画

Logo动画

 方法：选择一段质量较高的原视频，视频中的人物与背景易于区分，姿势可以用提示词清晰描述，使用艺术风格简洁的打模型和lora，最好使用 "提示词游历"，随着视频的变化而改变提示词。提示词的细节对于让动画变得栩栩如生十分关键，比如加入：表情、眨眼等描述。

用提示词游历的方法可以让动画生成更准确，这里以眨眼动画为例：

"0" :"masterpiece, best quality, 1girl, solo, blue eyes, face closeup",
"6" :"masterpiece, best quality, 1girl, solo, face closeup, (closed_eyes:1.2)",
"11" :"masterpiece, best quality, 1girl, solo, face closeup, (closed_eyes:1.2),(smile:1.2)",
"15" :"masterpiece, best quality, 1girl, solo, blue eyes, face closeup"

在Load Image节点中导入图片后，右键选择Open in MaskEditor即可涂抹重绘部分。

1. SVD模型下载（https://huggingface.co/stabilityai/stable-video-diffusion-img2vid/tree/main），模型通过此节点调用，svd.safetensors可在 576×1024 分辨率下生成 14 帧运动片段，svd_image_decoder.safetensors可在相同分辨率下生成 25 帧运动片段

2. SVD img2vid Conditioning 节点
    a.分辨率只可选择1024*576或576*1024，
    b.video_frames: 要生成的视频帧数;
    c.motion bucket id: 数字越大，视频中的运动越多;
    d.fps: fps 越高，视频的断断续续就越少;
    e.augmentation level: 添加到初始图像的噪声量，越高，视频看起来就越不像初始图像。增加它以获得更多运动。

• 时长很短，小于4s

• 分辨率限制

• 有时输出图像没有运动

• 模型无法通过文本进行控制

• 有时脸和身体的效果不友好